Сама идея простая. Делал её экспериментальную реализацию для для Парсера. Потом вторая попытка - для morphorueval2017. Особого эффекта добиться не удалось, но возможно в каком-то другом сценарии анализа текста она будет полезной ( Read more... )

Довел до конца эксперимент по реализации модели частеречной разметки на основе классификатора XGBoost.
Исходник (питон 2.x) лежит тут.

Выводы из эксперимента.

1. На таком числе классов (почти 300) xgboost обучается чертовски медленно. Фактически на корпусе ГИКРИЯ обучение шло три дня, полностью загружая 4 ядра i7. Нейросетка на Keras в таких же ( Read more... )

Пожалуй, это последний штрих к модели частеречной разметки Model1.

Странно, что я не сделал это раньше, так что пришлось в шесть утра освежать в памяти, что такое алгоритм Витерби и припаивать его поверх нейросетки (аналогично тому, как это делается в MEMM поверх maxent-классификатора ( Read more... )

Далее будут кратко описаны три модели. Две модели для частичной разметки соответствуют последовательным экспериментам по выбору общей архитектуры. Условно они называются Model1 и Ensemble. Модель лемматизации общая, ансамбль для нее я не делал, хотя это безусловно возможно и даже желательно.

Исходные тексты можно найти на гитхабе: https://github. ( Read more... )

( Read more... )

Организаторы конкурса добавили еще 2 корпуса в обучающий набор (см. в репозитории конкурсаЕсли объединить все 3 корпуса, получается неплохой датасет для всякого машобуча по русским NLP ( Read more... )

Первая модель - одиночная char-level рекуррентная сетка, LSTM для упаковки контекста слова и softmax-классификатор на выходе ( Read more... )

Нижняя оценка ошибаемости, когда обучаемся по обучающей выборке GIKRYA_texts.txt, и оцениваем модель по этому же корпусу ~3.1 ( Read more... )

( acc=0.95 )

Соревнование: http://www.dialog-21.ru/evaluation/2017/morphorueval/Как в старые добрые времена, которые я не успел застать: машинное время на моем сервере на ближайшие пару недель расписано полностью. Все четыре ядра и 32 Гб памяти будут гонять питоновские скрипты ( Read more... )